Инженеры тела - Роман Анискин

Проблема дизайна качественного исследования нарастает с новой силой каждый год. В упомянутой выше статье Стюарта Лимана, опубликованной в январе 2014 года, упоминается, как изучение 76 влиятельных исследований на животных показало, что в половине случаев использовалось не более пяти животных на группу, и многие не смогли должным образом обеспечить случайное распределение мышей по контрольной и экспериментальной группам. По словам профессора Джона Иоаннидиса, эпидемиолога Стэндфордского университета, одной из ключевых проблем множественных искажений результатов биомедицинских исследований, является «погоня за значимостью», то есть попытка интерпретировать данные с целью прохождения статистического теста значимости – девяносто-пяти процентной границы, установленной в свое время Рональдом Фишером. Разве такое применение видел господин Фишер для своей идеи?

Взглянем на другой интересный случай. В 2009 году компания Roche, производитель противовирусного средства Тамифлю (Осельтамивир), реализовала свой препарат по ряду стран на общую сумму в несколько миллиардов долларов. Кокрановское сотрудничество, организация из более чем 14000 ученых-добровольцев, имеющее высочайший авторитет в медицинском научном сообществе и взаимодействующее с Всемирной Организацией Здравоохранения, отрядила группу экспертов на проверку клинических исследований Осельтамивира, опубликованных компанией производителем. По итогу, группа экспертов сделала позитивный вывод по данным предоставленных исследований. Тем не менее, спустя время, лишь по счастливой случайности и въедливости японского врача Кейдзи Хаяши, обнаружилось, что 8 из 10 исследований, подверженных мета анализу одним из представителей Кокрановской группы, до сих пор не были не обнародованы в полном тексте. Спустя два года события развились настолько, что компании Roche, до этого отказывающейся предоставить все материалы исследований, пришлось уступить. Заново проанализировав планирование исследований (в том числе и не предоставленных ранее, а их оказалось 20), Кокрановские аналитики обнаружили множество методических недочетов в экспериментах, вызывающих сильные сомнения в достоверности результатов. По итогу, повторный анализ показал крайне низкую эффективность препарата, и в сравнении с побочными эффектами, его применение едва ли было оправдано. Экономическая эффективность потраченных миллиардов долларов на закупку лекарств устанавливалась более двух лет, и конечный вывод сильно поменялся благодаря въедливости одного малоизвестного (на тот момент) японского врача. Как написали по поводу этой истории в журнале The Guardian, «в течение этого периода, мировое научное медицинское сообщество начало осознавать, что краткие публикации научных исследовательских работ – на которые мы опирались множество лет – могут быть недостаточными, и даже вводить в заблуждение». Гораздо больше можно узнать из отчета клинического исследования – промежуточного документа между исследовательскими данными и журнальной статьей, однако часто эти отчеты авторы исследований отказываются предоставлять без соглашения о конфиденциальности. Так же поступала и компания Roche, пока не сдалась под давлением общественности.

Ключевых проблем в этой истории две. Первая – компания Roche на протяжении этой истории нигде не нарушила закона, что не помешало продать лекарство на баснословную сумму, эффективность которого объективно не подтверждена. То есть огромный массив исследований в биологии и медицине, служащий сегодня научной основой многих работ, так и остается потенциально сомнительным и труднодоступным к перепроверке. Между тем, в медицине и спорте база научных данных одна и та же. Второй, но не менее важной, является «Проблема Хаяши» – никому не известный врач-педиатр Кейдзи Хаяши усомнился в эффективности выписываемого им препарата, самостоятельно изучил доступные данные клинических испытаний и обнаружил, что весомая их доля не предоставлена для изучения в полной мере и самостоятельной интерпретации результатов исследования. Если бы не пытливость и дотошность одного малоизвестного, все могло бы остаться неизменным. К чести представителей Кокрановского сотрудничества, всего лишь комментария на сайте оказалось достаточно, чтобы ученые спохватились и активно занялись перепроверкой своих же анализов. Однако же, им пришлось именно спохватиться.

Что мы имеем в итоге? К чему эти «разоблачения»? Науки, изучающие человека, приходят в глобальный кризис. Масштаб растет. Второе десятилетие двадцать первого века богатеет на признания проблемы самими представителями науки. Авторитетнейшие рецензируемые журналы, The Lancet, Nature, BMJ и другие открыто заявляют о растущем количестве неудовлетворяющих «настоящей» науке исследований, выдвигают идеи и предложения академическому сообществу по «вычищению» научной литературы от стремительно растущих, как сорняки, ложных и «купленных» исследований. Малые экспериментальные группы, вызванные недостаточными финансовыми средствами на масштабные исследования, недостаточно строгие критерии достоверности приводят к сознательным и не очень, попыткам подогнать результаты исследований под желаемый результат, ошибочные интерпретации, огромное количество (по заявлению на симпозиуме, доходящее до 50%) биомедицинской литературы имеет высокий шанс оказаться попросту ложной в силу высокой неточности. Количество не поддающихся воспроизводимости, а значит, буквально не имеющих научной и практической ценности исследований, громадно.

Стоит ли пояснять, что если в медицине столь велико количество накопленных и не вскрытых ошибок и предпринимаемые попытки по исправлению ситуации только-только стали появляться, то до спортивных исследований «чистка» дойдет еще не скоро? Ведь инвестиции в медицину значительно больше, чем в спорт. Представляете ли вы хотя бы примерно, сколь громадно количество ложной информации и ненадежных выводов в спортивных науках, смежных с биологией и медициной? Критерии достоверности используются те же, спонсирование исследований меньше, чем в медицине, а значит и несознательная (а часто и сознательная) подгонка результатов под p-value несомненно присутствует в больших количествах ради хоть какого-то спонсирования. Не меньшее количество коммерческих интересов, те же малые выборки, те же халатно организованные исследования и рецензии на них (если даже исследования закупленных государством медикаментов нормально не могли перепроверить 2 года). Еще нобелевский лауреат Ричард Фейнман сетовал на обесценивание научных экспериментов в физике по причине погони за результатом, способным обеспечить спонсорство.

«С чувством боли и горечи подписываем мы этот документ о состоянии советской биологии» – такие слова напечатаны в «Письме трехсот», обращении большой группы советских ученых, с критикой взглядов и попыткой свергнуть представителя псевдонаучного направления в биологии Лысенко Т. Д., двадцать пять лет (двадцать пять!) руководящего институтом генетики АН СССР. Какая уж там воспроизводимость экспериментов. В то же время, Аркадию Бейнусовичу Мигдалу, советскому физику-теоретику, академику АН СССР и современнику Лысенко Т. Д., принадлежали следующие слова: «Даже в физике, химии и астрономии не всегда удается повторить условия эксперимента. Как быть с биологией или психологией, где объекты отличаются друг от друга? Можно ли и там требовать повторяемости и воспроизводимости результатов? Да, можно и нужно – без этого нет науки!». В одно и то же время, в одной и той же стране находилось место как настоящему ученому, так и шарлатану. Сколько продуктов настоящей науки осталось от обоих из них? Страшно представить, что может быть и одинаковое.

Надо понимать, что за десятилетия родились сотни трактатов о том, как тренироваться в том или ином виде спорта. Десяток другой монографий, сотни и более научных работ и патентов может быть опубликовано всего одним ученым за десятилетия плодотворной карьеры. На какие исследования опираются опубликованные труды? Представьте себе типичный абзац: «По результатам исследования N статистически достоверно установлено, что у тренированных мужчин (1взр – КМС) гликоген в мышцах пояса верхних конечностей восстанавливается в среднем за N времени, что позволяет нам сформулировать следующие рекомендации относительно планируемого отдыха между нагрузками на схожие мышечные группы». Сколь дотошно тот или иной ученый изучал постановку и интерпретацию выводов эксперимента, прежде чем использовать это исследование для разработки собственных рекомендаций? Убедился ли, что экспериментальная группа состояла не из «трех мышей», по 33,3% процента на каждую? Искал ли случаи экспериментального подтверждения исследования другими исследователями, или просто удовлетворился тем, что у 5—6 мужчин достаточно сильно разнящегося уровня подготовки восстановительные процессы в единичном случае протекли за примерно схожее время? А сколько всего ученых приходится на один вид спорта? Достаточно ли пристрастен и дотошен к своим же теориям каждый из них? Сколько ложных или частично ошибочных выводов было опубликовано за множество лет? Сколько из них были пролоббированы в качестве программ подготовки сборной страны? Вспомните, как ученые с течением времени пересматривают свои взгляды, изменяют рекомендации – безусловно хорошо, что они сомневаются в своих выводах, но как и старые, новые постулаты часто озвучивают с уверенностью. Вот объявили эксперимент несостоятельным спустя 10 лет – и теория, тренировочный метод, основанный на нем – несостоятельны, либо требуют корректировки! Не поленитесь, поищите в сети хотя бы какие-то монографии любимых ученых, вчитайтесь: какие исследования берутся за основу? Если эксперимент ставил сам автор – насколько велики группы исследуемых? Подробно ли описан эксперимент, что выставляется в качестве аргумента достоверности исследования? Проводились ли проверки воспроизводимости эксперимента, или «p <0,05» на полтора десятка испытуемых, по мнению автора, достаточно? Это еще поверхностный взгляд, без серьезного углубления в методику проведения научного эксперимента.